智东西4月19日消息，Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。 Llama 3在一众榜单中取得开源SOTA（当前最优效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。
一条磁力链，Mistral AI又来闷声不响搞事情。
作为 Meta 的前 CTO，Quora CEO Adam D'Angelo 目前还是 OpenAI 的董事会成员，在 Quora 之外推出的 Poe，成为当下接入大模型最多的 Chatbot 平台：GPT-4、Claude3、Mistral 等模型都有，用户也可以在上面搭建自己的 Chatbot 机器人，如果有别的用户使用，还可以产生收益。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。
成立仅9个月，法国Mistral AI拿出仅次于GPT-4的大模型。
2月26日，总部位于巴黎的人工智能公司Mistral AI发布尖端文本生成模型Mistral Large。该模型达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
